Using mathematical programming to solve Factored Markov Decision Processes with Imprecise Probabilities

AbstractThis paper investigates Factored Markov Decision Processes with Imprecise Probabilities (MDPIPs); that is, Factored Markov Decision Processes (MDPs) where transition probabilities are imprecisely specified. We derive efficient approximate solutions for Factored MDPIPs based on mathematical programming. To do this, we extend previous linear programming approaches for linear approximations in Factored MDPs, resulting in a multilinear formulation for robust “maximin” linear approximations in Factored MDPIPs. By exploiting the factored structure in MDPIPs we are able to demonstrate orders of magnitude reduction in solution time over standard exact non-factored approaches, in exchange for relatively low approximation errors, on a difficult class of benchmark problems with millions of states

Capacitated vehicle routing system applying Monte Carlo methods

The Vehicle Routing Problem (VRP) is one of the combinatorial optimization problems most studied in Computer Science and of great relevance to the areas of logistics and transport. This paper presents a new algorithm for solving the Capacitated Vehicle Routing Problem (CVRP) using Monte Carlo methods. Monte Carlo methods are statistical methods that use random sampling to solve probabilistic and deterministic problems. The proposed algorithm was developed based on Monte Carlo simulations and Clarke and Wright Savings heuristic and demonstrated results comparable to the best existing algorithms in the literature, it overcomes previous work with Monte Carlo methods. The comparison, analysis and evaluation of the algorithm were based on existing benchmarks in the literature

Sistema para roteamento de veículos capacitados aplicando Métodos de Monte Carlo

O Problema de Roteamento de Veículos (Vehicle Routing Problem, VRP) é um dos problemas de Otimização Combinatória mais estudados dentro da Computação e de grande relevância para as áreas de logística e transporte. Este trabalho apresenta um novo algoritmo para resolução do Problema de Roteamento de Veículos Capacitados (Capacitated Vehicle Routing Problem, CVRP). O algoritmo proposto foi desenvolvido baseado em Simulações de Monte Carlo e na heurística de Clarke & Wright Savings e demonstrou resultados comparáveis aos melhores algoritmos existentes na literatura, superando trabalhos anteriores com Métodos de Monte Carlo. A comparação, análise e avaliação do algoritmo foram feitas com base em benchmarks de problemas existentes na literatura

ANÁLISE COMPARATIVA DA PRODUTIVIDADE DOS PARES ORIENTADOR-ORIENTADO EM CIÊNCIA DA COMPUTAÇÃO

The increasing involvement of graduate students in scientific communication has been the subject of studies in many countries that have been discussing the role of doctoral studies in the research career. In this article we are interested on the study of the academic relationship between the advisor and the advisee for a group of PhD pairs in the Computer Science area, with curricula registered in the Lattes Platform. We analyze the main characteristics of the group and their coauthor relationships. In terms of co-authorship: (i) we observe that the duration that is established between advisor and advisee can extrapolate the formal period of supervision, and (ii) we show that the duration of the collaboration is correlated with both the number of articles published by the advisee and the ones published by the advisor. In this work we also present the advisee profile for researchers that worked in some of the graduate courses in Computer Science in Brazil in the triennium 2007-2009.A crescente participação dos pós-graduandos na comunicação científica das diversas áreas da ciência tem sido tema de estudos em diversos países que vêm discutindo o papel do doutoramento na carreira de pesquisa. Neste artigo é estudada a relação acadêmica temporal existente entre o aluno orientado e seu orientador para o conjunto de pares de doutores da área de Ciência da Computação com currículos cadastrados na plataforma Lattes. Analisamos as principais características do grupo e suas relações de coautoria. Em termos de coautoria: (i) observamos que o tempo de duração da parceria que se estabelece entre orientador e orientado pode extrapolar o período formal de orientação e (ii) mostramos que a duração do tempo de colaboração correlaciona-se com o número de artigos em periódicos publicados pelo orientado e o número de artigos publicados pelo orientador. Neste trabalho também apresentamos o perfil dos orientados para pesquisadores que atuaram como docentes de algum dos cursos de pós-graduação em Ciência da Computação no Brasil no triênio 2007-2009

EXTRAÇÃO, CARACTERIZAÇÃO E ANÁLISES DE DADOS DE CURRÍCULOS LATTES

Curricula from the Lattes Platform are a vast source of information for the creation and analysis of researchers' social networks. However, due to the large amount of data, the manual filling-in, and the use of semi-structured data, there are several challenges in the use of Lattes as a source of data. This paper presents a database produced from the mining of more than one million Brazilian Lattes curricula. Moreover, it highlights some descriptive characteristics and relationships among these curricula and among the knowledge areas, directions and challenges to the production and analyzes of social networks generated from these data.Os currículos da Plataforma Lattes são uma vasta fonte de informação para a criação e análise de redes sociais de pesquisadores. Contudo, devido à quantidade de dados, ao preenchimento manual e ao uso de dados semiestruturados existem diversos desafios para a utilização desta fonte de dados. Este artigo apresenta um banco de dados produzido a partir da mineração de mais de um milhão de Currículos Lattes, destacando algumas características descritivas e relações entre os currículos e entre as grandes áreas de conhecimento, direções e desafios para a produção e análise de redes sociais a partir destes dados

Factored Markov decision processes with Imprecise Transition Probabilities

Em geral, quando modelamos problemas de planejamento probabilístico do mundo real, usando o arcabouço de Processos de Decisão Markovianos (MDPs), é difícil obter uma estimativa exata das probabilidades de transição. A incerteza surge naturalmente na especificação de um domínio, por exemplo, durante a aquisição das probabilidades de transição a partir de um especialista ou de dados observados através de técnicas de amostragem, ou ainda de distribuições de transição não estacionárias decorrentes do conhecimento insuficiente do domínio. Com o objetivo de se determinar uma política robusta, dada a incerteza nas transições de estado, Processos de Decisão Markovianos com Probabilidades Imprecisas (MDP-IPs) têm sido usados para modelar esses cenários. Infelizmente, apesar de existirem diversos algoritmos de solução para MDP-IPs, muitas vezes eles exigem chamadas externas de rotinas de otimização que podem ser extremamente custosas. Para resolver esta deficiência, nesta tese, introduzimos o MDP-IP fatorado e propomos métodos eficientes de programação matemática e programação dinâmica que permitem explorar a estrutura de um domínio de aplicação. O método baseado em programação matemática propõe soluções aproximadas eficientes para MDP-IPs fatorados, estendendo abordagens anteriores de programação linear para MDPs fatorados. Essa proposta, baseada numa formulação multilinear para aproximações robustas da função valor de estados, explora a representação fatorada de um MDP-IP, reduzindo em ordens de magnitude o tempo consumido em relação às abordagens não-fatoradas previamente propostas. O segundo método proposto, baseado em programação dinâmica, resolve o gargalo computacional existente nas soluções de programação dinâmica para MDP-IPs propostas na literatura: a necessidade de resolver múltiplos problemas de otimização não-linear. Assim, mostramos como representar a função valor de maneira compacta usando uma nova estrutura de dados chamada de Diagramas de Decisão Algébrica Parametrizados, e como aplicar técnicas de aproximação para reduzir drasticamente a sobrecarga computacional das chamadas a um otimizador não-linear, produzindo soluções ótimas aproximadas com erro limitado. Nossos resultados mostram uma melhoria de tempo e até duas ordens de magnitude em comparação às abordagens tradicionais enumerativas baseadas em programação dinâmica e uma melhoria de tempo de até uma ordem de magnitude sobre a extensão de técnicas de iteração de valor aproximadas para MDPs fatorados. Além disso, produzimos o menor erro de todos os algoritmos de aproximação avaliados.When modeling real-world decision-theoretic planning problems with the framework of Markov Decision Processes(MDPs), it is often impossible to obtain a completely accurate estimate of transition probabilities. For example, uncertainty arises in the specification of transitions due to elicitation of MDP transition models from an expert or data, or non-stationary transition distributions arising from insuficient state knowledge. In the interest of obtaining the most robust policy under transition uncertainty, Markov Decision Processes with Imprecise Transition Probabilities (MDP-IPs) have been introduced. Unfortunately, while various solutions exist for MDP-IPs, they often require external calls to optimization routines and thus can be extremely time-consuming in practice. To address this deficiency, we introduce the factored MDP-IP and propose eficient mathematical programming and dynamic programming methods to exploit its structure. First, we derive eficient approximate solutions for Factored MDP-IPs based on mathematical programming resulting in a multilinear formulation for robust maximin linear-value approximations in Factored MDP-IPs. By exploiting factored structure in MDP-IPs we are able to demonstrate orders of magnitude reduction in solution time over standard exact non-factored approaches. Second, noting that the key computational bottleneck in the dynamic programming solution of factored MDP-IPs is the need to repeatedly solve nonlinear constrained optimization problems, we show how to target approximation techniques to drastically reduce the computational overhead of the nonlinear solver while producing bounded, approximately optimal solutions. Our results show up to two orders of magnitude speedup in comparison to traditional at dynamic programming approaches and up to an order of magnitude speedup over the extension of factored MDP approximate value iteration techniques to MDP-IPs while producing the lowest error among all approximation algorithm evaluated

not available

Tutores inteligentes são sistemas computacionais de ensino/aprendizagem que empregam técnicas de Inteligência Artificial (IA) com o objetivo de promover o aprendizado individualizado. Um dos aspectos centrais de um sistema tutor para o aprendizado de programação é a depuração do programa construído pelo aluno. O resultado desta depuração serve para guiar o sistema tutor em suas futuras decisões instrucionais, enquanto o processo de depuração em si pode ser explorado para promover a aprendizagem. Ou seja, num processo interativo de depuração, é possível fazer com que o aluno aprenda detectando e corrigindo seus próprios erros. Dentre as propostas de depuração automática de programas, a técnica de IA denominada Diagnóstico Baseado em Modelos (MBD), tem apresentado bons resultados para diagnosticar programas escritos por programadores experientes. Como é feito tradicionalmente para sistemas físicos, MBD analisa um modelo de um programa representado na forma de componentes e conexões, onde os componentes correspondem às estruturas lógicas da linguagem de programação e as conexões representam as constantes e os valores de variáveis. Apesar do sucesso de MBD para depuração de programas, nenhuma proposta foi feita incorporando essa técnica em sistemas tutores. Este trabalho propõe o desenvolvimento de um sistema de diagnóstico do tipo MBD para analisar programas de alunos de cursos introdutórios de programação. O trabalho estende trabalhos anteriores de depuração automática do tipo MBD para programadores experientes, para ser usado como ferramenta de suporte ao aprendizado de programação. O sistema de diagnóstico desenvolvido ProPAT_deBUG faz parte de um ambiente de programação com padrões, chamado ProPAT. Nessa ferramenta, enquanto o aluno edita um programa, ele pode acessar e inserir Padrões Elementares no programa com a intenção de satisfazer sub-metas de um dado problema. Após o programa ser compilado com sucesso, ele é testado para um conjunto de casos de teste e, em caso de falha, o sistema de diagnóstico é chamado para descobrir falhas lógicas funcionais e estruturais. Os Padrões Elementares usados pelo aluno na construção do programa são usados para a comunicação das hipóteses de falha.not availabl